R u Ready? HS2025 | Psychologie der Digitalisierung - Einheit 2

R u Ready? Reprodzierbare Datenaufbereitung und -analyse mit R

HS 2025


LV-Leitung: Dr. Sandra Grinschgl / MSc. Aaron Friedli
Tutor: BSc. Lars Schilling


2. Einheit, 24.09.2025

Semesterplan

Ergebnisse der Bedarfsanalyse (1)

10:15 (N = 24)

Wie würdest du aktuell deine R-Kenntnisse einschätzen?

16:15 (N = 23)

Wie würdest du aktuell deine R-Kenntnisse einschätzen?

Ergebnisse der Bedarfsanalyse (2)

Wie oft hast du R schon verwendet?

10:15

Wie oft hast du R schon verwendet?

16:15

Ergebnisse der Bedarfsanalyse (3)

In welchen Lehrveranstaltungen hast du R verwendet?

• Statistik

• Diagnostik

• Neuowissenschaften/Computerlab

• Bachelorarbeit/Masterarbeit

• Weitere Kurse und Seminar ( z.B. Datensatzaufbereitung in R)

Ergebnisse der Bedarfsanalyse (4)

Hast du R auch außerhalb von Lehrveranstaltungen verwendet?

10:15

Hast du R auch außerhalb von Lehrveranstaltungen verwendet?

16:15

Ergebnisse der Bedarfsanalyse (5)

Welche R-Pakete hast du bereits verwendet?

• Fast alle von euch haben schon mit dem Tidyverse gearbeitet

Ergebnisse der Bedarfsanalyse (6)

Wie unsicher fühlst du dich im Umgang mit den folgenden Themen?

10:15

Wie unsicher fühlst du dich im Umgang mit den folgenden Themen?

16:15

Ergebnisse der Bedarfsanalyse (7)

Welche weiteren Schritte bereiten dir Schwierigkeiten in R?

• Allgemeine Unsicherheit / Überforderung

• Grundlegendes, Syntax & Fehleranalyse (Code funktioniert nicht)

• Pakete und Funktionen (Wann brauche ich was?)

• Codes schreiben und verstehen (Eigenständig coden, nachvollziehen von generiertem Code)

• Datenverständnis & -aufbereitung

• Statistische Analysen & Anwendungen

• Ganzheitliches Verständnis von Code

Ergebnisse der Bedarfsanalyse (8)

Bei welchen Schritten in R fühlst du dich sicher, wenn du auch daran denkst, die im Bachelor erworbenen Unterlagen zu Hilfe zu ziehen?

• Basics (z.B. Vektoren zuweisen)

• Datenimport & -aufbereitung

• Deskriptive & einfache Analysen

• Visualisierung mit ggplot2

• Fortgeschrittene Analysen mit bereits vorbereiteten Daten

• Allgemeine Unsicherheit ➡️ mit Unterlagen, KI, oder Schritt für Schritt Anweisungen funktioniert bereits einiges

Ergebnisse der Bedarfsanalyse (9)

Was würdest du gerne in diesem Methodenseminar lernen?

• Grundlagen und Verständnis festigen ➡️ Sicherheit gewinnen

• Datenaufbereitung

• Statistische Analysen und Interpretation

  • Wann brauche ich welche Tests ➡️ Leider kann keine grundlegende Statistik-Auffrischung angeboten werden.

  • Aber: Strukturiertes Vorgehen z.B. Datenanalyseplan.

• Visualisierung und Dokumentation

• Eigenständiger werden & Problemlöseskills

• Motivation und Sicherheit!

Ergebnisse der Bedarfsanalyse (10)

Welche Unterstützung um die Datenaufbereitung und -analyse in R würdest du dir innerhalb dieses Seminars wünschen?

• offene Fehlerkultur

• Schritt-für-Schritt-Anleitungen im individuellen Tempo → Musterlösungen

• Üben und Praxis ➡️ Hands-on!

• Niederschwellige Hilfe ➡️ Tutor, Sprechstunden

• Verknüpfung von „Warum“ und „Wie“ ➡️ konzeptionelle und praktische Kompetenz

Ergebnisse der Bedarfsanalyse (11)

Welche Unterstützung um die Datenaufbereitung und -analyse in R würdest du dir außerhalb dieses Seminars (z.B. im Studium allgemein) wünschen?

• Anlaufstellen & Beratung ➡️ Methodenberatung, Foren für Mitstudierende

• Skripte & Materialien ➡️ Frei Zugängliche Skripte, Templates, Cheat-Sheets

• Kurse & Übungsangebote ➡️ Zusätzliche Kurse für Auffrischung und Übung

• Praxis & Anwendung im Studium ➡️ R stärker in VLs und Seminare & Projekte einbinden um Routine zu entwicklen

• Theorie-Verknüpfung & Verständnis

Peer-Pairing:

10:15

16:15

Peer-Pairing:

• Vorgehen: Melden bis Sonntag 28.09 (ILIAS Forum, siehe EH2) mit Namen des 2er Teams

• Ansonsten: Zufällige Zuteilung am Montag - Kennenlernen in der nächsten Einheit

Open Science - Menti

Replikationskrise

• Ausgangspunkt: 9 Studien, die darauf hinweisen, dass Personen «in die Zukunft sehen können» (Bem , 2011)

• Etablierte psychologische Messmethoden (z.B. Priming)

• Ein Ergebnis: Primes, die nach Antwort präsentiert werden, beeinflussen Antwortzeiten

• Starke Kritik, v.a. was Methodik betrifft; gerade kontroverse,„unwahrscheinliche“ Hypothesen sollten durch strikte, konfirmatorische Analysen überprüfen (Francis, 2012; LeBel & Peters, 2011; Wagenmakers et al., 2011)

• Diverse gescheiterte Replikationsversuche (Galak et al., 2012; Ritchie et al., 2012; Robinson, 2011)

Replizierbarkeit und Reproduzierbarkeit

Schönbrodt, 2023

Open Science Collaboration (2015)

Gemeinsames Projekt von 270 Autor:innen, mit dem Ziel 100 Studien aus drei verschiedenen Journals zu replizieren.

Open Science Collaboration (2015)

• Signifikante Ergebnisse in den Original-Studien: 97%

• Wie viele % der Effekte liessen sich replizieren - was glaubt ihr?

Open Science Collaboration (2015)

Replikationskrise in anderen Fächern

Schönbrodt, 2023; Hofer, 2024

*Bei Wirtschaft geht es um Reproduzierbarkeit.

Siehe auch: https://www.youtube.com/watch?v=FpCrY7x5nEE&ab_channel=TED-Ed

Warum?

Gründe für die Replikationskrise:

• Akademisches Umfeld:

  • Quantität > Qualität

  • “publish or perish”

• Questionable Research Practices:

  • Selektive Berichterstattung

  • p-hacking

• Biases:

  • Confirmation Bias

  • Publication Bias

“If you torture data long enough, it will confess to anything” - Ronald Coase

(Spielt natürlich auch eine Rolle: Versuchsmethoden und Zufallsbefunde)

Gründe für die Replikationskrise:

Chambers, C. (2017). The seven deadly sins of psychology: A manifesto for reforming the culture of scientific practice. Princeton University Press. https://doi.org/10.1515/9781400884940

Aktuelle Fälle:

Top German psychologist fabricated data, investigation finds

• Der bekannte Psychologe Hans-Ulrich Wittchen soll in einer millionenschweren Studie Daten gefälscht und Whistleblower unter Druck gesetzt haben, was nun zu strafrechtlichen Ermittlungen und möglichen Sanktionen führt.

“Here’s the Unsealed Report Showing How Harvard Concluded That a Dishonesty Expert Committed Misconduct”

• Die Forscherin Francesca Gino wird beschuldigt, Daten in mehreren Studien manipuliert zu haben, bestreitet jedoch die Vorwürfe und führt sie auf mögliche Fehler oder andere Personen zurück.

A Scandal in Alzheimer’s Research Shows How Science Can Go Astray

• Eine Untersuchung legt nahe, dass eine einflussreicher Alzheimer-Studie von 2006 manipulierte Bilder enthielt, was Zweifel an jahrelanger Forschung und der wissenschaftlichen Integrität aufwirft.

Retraction Watch Leaderboard

THE END IS NEAR

Bild generiert von ChatGPT Image Generator

Lösungsansätze - Open Science

Auch wichtig: Registered Reports und Replikationsstudien; Open Acces Publikationen, Open Peer Review, Educational Practices

Lösungsansätze - Open Science (2)

• Präregistrierung

  • Festlegung der zentralen Aspekte der Studie (z.B. Hypothesen, Stichprobe, Analyse) vor ihrer Umsetzung (d.h. vor der Datenerhebung)

  • Auch möglich vor der Datenanalyse —> Datenanalyseplan

  • Präregistrierung wird veröffentlicht, erhält einen Zeitstempel und ist schreibgeschützt

    • www.osf.io
    • Verschiedene Templates

• Preprints:

  • Version des Manuskripts vor Peer-Review

  • Postprint: Version des Manuskripts nach Peer Review.

Lösungsansätze - Open Science (2)

Open Material, Data & Code

• Open Material: Untersuchungsmaterial (Fragebogen, Stimuli, usw.) wird online zur Verfügung gestellt

• Open Data: Daten werden in anonymisierter Form veröffentlicht

• Open Code: Reproduzierbare Analyseskripte werden zur Verfügung gestellt

Badges:

Open Science = Gute wissenschaftliche Praxis

Stefan et al. (2023)

Weitere Ressourcen:

• Pennington, C. R. (2023). A student’s guide to open science: Using the replication crisis to reform psychology. McGraw Hill​.

• Open Science an der Universität Bern: https://www.ub.unibe.ch/service/open_science/index_ger.html ​

• Blogs über aktuelle Themen: https://datacolada.org

• Journal Club: https://reproducibilitea.org

• Comic: https://thenib.com/repeat-after-me/?utm_campaign=web-share-links&utm_medium=social&utm_source=link

• Lehrveranstaltungen der Abteilung „Psychologie der Digitalisierung“- Meta-Wissenschaft https://www.dig.psy.unibe.ch/studium/lehrveranstaltungen/index_ger.html

• „Spellchecker“ für Statistik https://michelenuijten.shinyapps.io/statcheck-web/

Was bedeutet dies nun für uns?

• Festhalten der Analysen in Datenanalyseplänen

• Analyse reproduzierbar gestalten ➡️ durch Kommentierung von Code, Codebook etc.

• Idealerweise: auch bei der Masterarbeit Präregistrierung oder Datenanalyseplan etc. (Unterstützung dafür bietet auch die Methodensprechstunde bei Aaron)

• Regt eure Betreuer:innen an!

Präregistrierung/Datenanalysepläne

• Vorteile, u.a.:

  • kann davor festhalten, was ich erwarte und wie ich es analysiere = erhöhte Transparenz

  • verringerte Möglichkeiten von p-hacking, HARKing, und Biases Stichprobengröße wird festgeschrieben und muss begründet werden

  • Unterscheidung konfirmatorischer und explorativer Forschung

    • konfirmatorisch: Eine vorab festgelegte Theorie & Hypothese testen

    • explorativ: neue Zusammenhänge/Unterschiede entdecken; keine Annahmen vorab

  “Its a plan, not a prison” (Pennington, 2023)

Konzeptionelle Kompetenz: Was muss ich bei der Datenaufbereitung tun, Warum muss ich dies tun

• Welche Hypothesen möchte ich testen?

• Stichprobe (inkl. Poweranalyse)

• Berechnung der abhängigen Variablen

• Datenausschluss

• Umgang mit fehlenden Daten, Umgang mit Ausreißern

• Wie (d.h. mit welchem statistischen Modell) teste ich meine Hypothesen?
  Welche Voraussetzungen sind dabei zu beachten und wie gehe ich bei Verletzungen dieser vor?
  Welche Inferenz-Kriterien ziehe ich heran?

• ➡️ Verringerung der “Researcher Degrees of Freedom”

• ➡️ Wichtig für alle empirischen Arbeiten! Wenn man diese Punkte vor der Datenerhebung gut durchdenkt, spart man sich bei der Analyse viel Aufwand.

• ➡️Greift auf eure Statistik-Kenntnisse und die Unterlagen aus dem Bachelor zurück!

Präregistrierung/Datenanalysepläne

Nachteile?

Grundlegender Artikel: Grinschgl et al. (2020)

From metacognitive beliefs to strategy selection: does fake performance feedback influence cognitive offloading?

• 3 Gruppen und mehrere Messzeitpunkte

• between-within Design

• Hauptanalysen: ANOVAs und t-Tests

• Verschiedene AVs (z.B. cognitive offloading, Arbeitsgedächtnisfähigkeiten, Selbsteinschätzung)

• Präregistriert auf OSF https://osf.io/9hpz5

  • ACHTUNG: Kein optimales Beispiel, an manchen Stellen zu knapp!

Datenanalyseplan

• Secondary Data Analyses Preregistration (https://osf.io/x4gzt/)){.uri}

• Basierend auf Van den Akker et al. (2021) -> siehe Paper für eine Anleitung & Youtube Video https://www.youtube.com/watch?v=fqvJx2_V3zY

• Leichte Modifikationen für unser Seminar Vorlage auf ILIAS unter «Abschlussprojekt» -> ZIP-Ordner

Datenanalyseplan - (Modifizierte) Fragen

• Titel
• Kurzbeschreibung der Studie
• Forschungsfragen
• Hypothesen & explorative Fragestellungen
• Datenzugang
• Datenerhebung
• Unabhängige Variablen
• Abhängige Variablen
• Fehlende Daten
• Datenausschluss
• Vorkenntnisse zu den Daten
• Statistische Modelle
• Inferenz-Kriterien

Diese Fragen sind für die Analysen von Grinschgl et al, (2020) zu beantworten –> erste HÜ

Datenanalyseplan - Aufgabenstellung

• Datenanalyseplan für Reproduzierung der Analysen von Grinschgl et al. (2020) erstellen (bis EH 4) ➡️4 Punkte

  • Paper befindet sich ohne und mit Hinweisen auf ILIAS (Ordner «Abschlussprojekt» ➡️ Zip Ordner)

  • Auf Deutsch oder Englisch

  • Nicht nur Kopie der Textteile aus dem Paper, sondern in eigene Worte fassen

  • Es gibt nicht die EINE richtige Lösung

  • Einfach mal probieren! Korrektheit zweitrangig!

• Musterlösung & Peer-Review (Zwischen EH 4-5) ➡️ 4 Punkte

• Abschlussarbeit: überarbeiteten Datenanalyseplan mit abgeben (Basis: Simulierte Daten) ➡️ Teil der 46 Punkte (Abschlussarbeit)

• FAQ anschauen, Ilias Forum für neue Fragen nutzen

Fragen, Wünsche, Anregungen

Illustration von svstudioart/Freepik

Ankündigung: Collegium Generale

Ankündigung: Masterarbeit / Praktikum zu vergeben

Replikationsstudie von Loftus und Palmer(1974) Car Crash Experiment

Loftus, E. F., & Palmer, J. C. (1974). Reconstruction of auto-mobile destruction: An example of the interaction between language and memory. Journal of Verbal Learning and Verbal behavior, 13, 585-589.

Heute haben wir:

• Den Ursprung und Gründe der Replikationskrise kennengelernt

• Das Verbessern psychologischer Forschung mittels Open Science Praktiken diskutiert

• Das Konzept der Präregistrierung und des Datenanalyseplans kennengelernt

• Weitere Hands-On Übungen zu R Basics bearbeitet

Hausübungen:

• Paper lesen (r_you_ready/Grinschgl2020/reports)
• Datenanalyseplan für Paper erstellen (auf Basis des Papers)
  • Abgabe via ILIAS, Deadline: 08.10.2025
  • Weiterleiten an Peer-Partner (EH4)
• Unterstützende Dokumente (Ordner: r_you_ready/Unterstützende_Dokumente/Datenanalyseplan):
  • Artikel Van den Akker et al. (2021)
  • Forum & Peer Pairing (ab EH3)
  • FAQ
  • Fragen zur nächsten Einheit mitbringen
• Hands-On Übungen (Musterlösungen nächste Woche)
• Peer-Pairings melden, Deadline 28.09.2025

Referenzen:

Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100, 407–425. https://doi.org/10.1037/a0021524

Francis, G. (2012). Too good to be true: Publication bias in two prominent studies from experimental psychology. Psychonomic Bulletin & Review, 19, 151–156. https://doi.org/10.3758/s13423-012-0227-9

Galak, J., LeBoeuf, R. A., Nelson, L. D., & Simmons, J. P. (2012). Correcting the past: Failures to replicate psi. Journal of Personality and Social Psychology, 103(6), 933–948. http://dx.doi.org/10.1037/a0029709

Grinschgl, S., Meyerhoff, H. S., Schwan, S., & Papenmeier, F. (2021). From metacognitive beliefs to strategy selection: Does fake performance feedback influence cognitive offloading? Psychological Research, 85, 2654–2666. https://doi.org/10.1007/s00426-020-01435-9

Hofer, G. (2024, April 23). Open Science [Course presentation]. University of Graz.

LeBel, E. P., & Peters, K. R. (2011). Fearing the future of empirical psychology: Bem’s (2011) evidence of psi as a case study of deficiencies in modal research practice. Review of General Psychology, 15(4), 371–379. https://doi.org/10.1037/a0025172

Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), Article aac4716. https://doi.org/10.1126/science.aac4716

Pennington, C. R. (2023). A student’s guide to open science: Using the replication crisis to reform psychology. McGraw Hill.

Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Failing the future: Three unsuccessful attempts to replicate Bem’s ‘Retroactive Facilitation of Recall’ effect. PloS One, 7(3), Article e33423. https://doi.org/10.1371/journal.pone.0033423

Robinson, E. (2011). Not feeling the future: A failed replication of retroactive facilitation of memory recall. Journal of the Society for Psychical Research, 75, 142–147.

Schönbrodt, F. (2023). Open Science: An overview and first easy steps. https://osf.io/nf2rg

Stefan, A. M., Schönbrodt, F., & Schiestel, L. (2023). An introduction to Open Science. https://osf.io/vza25

Wagenmakers, E.-J., Wetzels, R., Borsboom, D., & van der Maas, H. L. J. (2011). Why psychologists must change the way they analyze their data: The case of psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100(3), 426–432. https://doi.org/10.1037/a0022790

Van Den Akker, O. R., Weston, S., Campbell, L., Chopik, B., Damian, R., Davis-Kean, P., Hall, A., Kosie, J., Kruse, E., Olsen, J., Ritchie, S., Valentine, K., Van ’T Veer, A., & Bakker, M. (2021). Preregistration of secondary data analysis: A template and tutorial. Meta-Psychology, 5. https://doi.org/10.15626/MP.2020.2625